Thân phụ: Cụ ông Cao Văn Sự (1897-1964) nguyên là Đốc Phủ sứ, được giữ nhiều chức vụ hành chính quan trọng vào cuối triều nhà Nguyễn trước năm 1945
Thân mẫu: Cụ bà Trương Thị Trân (1898-1960)
Bào đệ: - Ông Cao Minh Châu (Sinh năm 1930 tại An Giang, tốt nghiệp Khóa 1 Sĩ quan Trừ bị Thủ Đức, nguyên Trung tá Tỉnh trưởng Gia Định, Đại tá học viên khóa 6 Cao đẳng Quốc phòng - Ông Cao Hữu Duyên (Tốt nghiệp khóa 8 Võ bị Đà Lạt, cấp bậc sau cùng là Đại tá)
